Trưởng Tôn Vô Kỵ người Hà Nam, Lạc Dương, xuất thân từ Hà Nam Trưởng Tôn thị (河南長孫氏) danh gia vọng tộc.

Gia tộc Trưởng Tôn có dòng dõi từ gia tộc Tiên Ti Bạt Bạt thị (拔拔氏), một trong Thất thập tính (室十姓) của hoàng tộc Bắc Ngụy. Sau khi Ngụy Hiếu Văn Đế hán hóa, gia tộc mới cải lại thành [Trưởng Tôn thị]. Suốt thời đại Bắc Ngụy, gia tộc Trưởng Tôn là một thế gia đầy kiêu hãnh. Tổ phụ Trưởng Tôn Hủy (长孙兕), giữ chức Khai phủ nghi Đồng tam ty thời Bắc Chu. Cha Trưởng Tôn Thịnh (長孫晟), giữ chức Hữu Kiêu vệ tướng quân thời nhà Tùy. Mẹ ông là dòng dõi hoàng tộc Bắc Tề, cháu gái Thanh Hà vương Cao Nhạc, con gái của Nhạc An vương Cao Kính Đức (高敬德) và là em gái của danh thần Cao Sĩ Liêm (高士廉).

Vào thời gian khi cha ông Trưởng Tôn Thịnh mất, ông cùng mẹ và em gái Trưởng Tôn thị bị anh cả không cùng mẹ là Trưởng Tôn An Nghiệp (長孫安業) đuổi ra khỏi nhà, không nơi nương tựa, đành phải đến nhà cậu là Cao Sĩ Liêm, cũng từ đây Vô Kị được cậu chăm sóc và cho ăn học. Sử sách ghì nhận, Trưởng Tôn Vô Kị vốn tính thông minh, văn sử đều làu, lại có bộ óc thông minh đầy mưu kế.

Vào cuối thời nhà Tùy, gia tộc họ Cao giúp đỡ Lý Uyên khuếch trương thanh thế, Vô Kỵ khi ấy rất thân với con thứ của Lý Uyên tên Lý Thế Dân, vừa vặn hợp tuổi nên cả hai trở thành bạn bè tâm giao rất ăn ý. Em gái ông do đó được mai mối, thành thân với Lý Thế Dân. Sau khi Lý Uyên lên ngôi, Lý Thế Dân khi đó đã là Tần vương (秦王), Trưởng Tôn Vô Kỵ yết kiến tại Trường Xuân cung được phong làm Bắc Đạo hành quân Điểm thiêm, về sau do có công phò tá được cất nhắc làm lang trung, lại được tấn được phong làm Thượng Đảng huyện công (上党县公). Từ đó Vô Kỵ trở thành một thành viên quan trọng của Thiên Sách phủ phụ tá Lý Thế Dân.